Kronecker产品的自然概括是Kronecker产品的张量Kronecker产品,在多个研究社区中独立出现。像它们的矩阵对应物一样,张量的概括为隐式乘法和分解定理提供了结构。我们提出了一个定理,该定理将张量kronecker产品的主要特征向量分解,这是从矩阵理论到张量特征向量的罕见概括。该定理意味着在kronecker产品的张量功率方法的迭代中应该存在低级结构。我们研究了网络对齐算法TAME中的低等级结构,这是一种功率方法启发式方法。直接或通过新的启发式嵌入方法使用低级结构,我们生成的新算法在提高或保持准确性的同时更快,并扩展到无法通过现有技术实际处理的问题。
translated by 谷歌翻译
We introduce a Transformer based 6D Object Pose Estimation framework VideoPose, comprising an end-to-end attention based modelling architecture, that attends to previous frames in order to estimate accurate 6D Object Poses in videos. Our approach leverages the temporal information from a video sequence for pose refinement, along with being computationally efficient and robust. Compared to existing methods, our architecture is able to capture and reason from long-range dependencies efficiently, thus iteratively refining over video sequences. Experimental evaluation on the YCB-Video dataset shows that our approach is on par with the state-of-the-art Transformer methods, and performs significantly better relative to CNN based approaches. Further, with a speed of 33 fps, it is also more efficient and therefore applicable to a variety of applications that require real-time object pose estimation. Training code and pretrained models are available at https://github.com/ApoorvaBeedu/VideoPose
translated by 谷歌翻译
我们探讨各种塑性功能对神经元组件的影响。为了弥合实验和计算理论之间的差距,我们利用概念框架,组装微积分,这是基于神经元组件的脑功能描述的正式系统。组装计算包括用于突出,关联和合并神经元组件的操作。我们的研究专注于模拟不同的可塑性功能,使组装微积分。我们的主要贡献是对投影操作的修改和评估。我们试验OJA和Spike时间依赖的可塑性(STDP)规则并测试各种超参数的效果。
translated by 谷歌翻译
动态场景图表形式的结构化视频表示是有关多个视频理解任务的有效工具。与场景图的任务相比,由于场景的时间动态和预测的固有时间波动,动态场景图生成是更具挑战性。我们表明捕获长期依赖性是有效生成动态场景图的关键。我们通过从视频中构造一致的长期对象轨迹来介绍检测跟踪 - 识别范例,然后是捕获对象和视觉关系的动态。实验结果表明,我们的动态场景图检测变压器(DSG-DETR)在基准数据集动作基因组上的显着余量优于最先进的方法。我们还进行消融研究并验证所提出的方法的每个组成部分的有效性。
translated by 谷歌翻译
由于它们在各个域中的大量成功,深入的学习技术越来越多地用于设计网络入侵检测解决方案,该解决方案检测和减轻具有高精度检测速率和最小特征工程的未知和已知的攻击。但是,已经发现,深度学习模型容易受到可以误导模型的数据实例,以使所谓的分类决策不正确(对抗示例)。此类漏洞允许攻击者通过向恶意流量添加小的狡猾扰动来逃避检测并扰乱系统的关键功能。在计算机视觉域中广泛研究了深度对抗学习的问题;但是,它仍然是网络安全应用中的开放研究领域。因此,本调查探讨了在网络入侵检测领域采用对抗机器学习的不同方面的研究,以便为潜在解决方案提供方向。首先,调查研究基于它们对产生对抗性实例的贡献来分类,评估ML的NID对逆势示例的鲁棒性,并捍卫这些模型的这种攻击。其次,我们突出了调查研究中确定的特征。此外,我们讨论了现有的通用对抗攻击对NIDS领域的适用性,启动拟议攻击在现实世界方案中的可行性以及现有缓解解决方案的局限性。
translated by 谷歌翻译
最近的性能(SOTA)用于图表代表学习(GRL)的性能的改进已经以显着的计算资源要求,例如,用于训练,例如,通过背部计算渐变在许多数据时期。同时,单数值分解(SVD)可以找到闭合形式的解决方案以凸出的问题,仅使用少数时代的时期。在本文中,我们为具有适度硬件的人进行了更多计算贸易。我们设计一个计算\ textit {隐式}定义的矩阵的SVD的框架,并将此框架应用于多个GRL任务。对于每个任务,我们导出了SOTA模型的线性近似,其中我们设计(昂贵 - 存储)矩阵$ \ mathbf {m} $和培训模型,通过$ \ mathbf {m}的svd rend-form,以封闭形式$,无需计算$ \ mathbf {m} $的条目。通过在一个步骤中融合到独特的点,并且在没有计算梯度的情况下,我们的模型在文章引文和生物互动网络等各种图表中显示出具有竞争性的经验测试性能。更重要的是,SVD可以初始化更深入的模型,该模型几乎无处不在地是非线性的,但在其参数驻留在超平面上时,虽然线性地行事,但是在超平面上初始化时,则行为。然后,更深入的模型可以在仅几个时期内进行微调。总的来说,我们的程序比现有技术的方法训练数百次,同时竞争经验测试性能。我们开源我们的实施:https://github.com/samihaija/isvd
translated by 谷歌翻译
半监督学习(SSL)在许多应用领域中已经取得了成功,但这种成功经常涉及任务特定的未标记数据的可用性。知识蒸馏(KD)能够有效地优化紧凑的神经网络,当通过新鲜任务特定的未标记数据蒸馏昂贵的网络时,实现了最佳结果。但是,任务特定的未标记数据可能具有挑战性,特别是对于NLP。我们调查使用生成模型在合成未标记数据中的使用,并呈现一个名为“生成,注释和学习(GAL)”的简单和一般框架。语言模型(LM)用于扫描域中的未标记数据。然后,分类器用于注释这样的数据。最后,综合生成和注释的数据用于推进SSL,KD和NLP和表格任务的几次拍摄学习。为了获得强大的任务特定的LM,我们要么微调来自特定任务的输入的大LM,或者提示具有少数输入示例的大型LM,并且有条件地生成更明显的示例。它还为胶水排行榜上的6层变压器产生了一种新的最先进的。最后,使用GAL的自我训练从UCI存储库的四个表格任务上提供大的收益。
translated by 谷歌翻译
非线性状态空间模型是一种强大的工具,可以在复杂时间序列中描述动态结构。在一个流的媒体设置中,当一次处理一个样本的情况下,状态的同时推断及其非线性动力学在实践中提出了重大挑战。我们开发了一个小说在线学习框架,利用变分推理和顺序蒙特卡罗,这使得灵活和准确的贝叶斯联合过滤。我们的方法提供了滤波后的近似,这可以任意地接近针对广泛的动态模型和观察模型的真正滤波分布。具体地,所提出的框架可以使用稀疏高斯过程有效地近似于动态的后验,允许潜在动力学的可解释模型。每个样本的恒定时间复杂性使我们的方法能够适用于在线学习场景,适用于实时应用。
translated by 谷歌翻译